大型语言模型开发的最新进展导致公众访问最先进的预训练的语言模型(PLM),包括生成培训的预训练的变压器3(GPT-3)(GPT-3)和Transformers(来自Transformers)的双向编码器(伯特)。但是,实际上,对PLM的评估表明,在培训和开发的微调阶段,它们对对抗性攻击的敏感性。这种攻击可能导致错误的输出,模型生成的仇恨言论以及用户敏感信息的暴露。尽管现有的研究集中在PLM的培训或微调期间的对抗攻击上,但有关这两个发展阶段之间攻击的信息不足。在这项工作中,我们重点介绍了GPT-3公开发行的主要安全漏洞,并进一步研究了其他最先进的PLM中的这种漏洞。我们将工作限制在没有经过微调的预培训模型中。此外,我们强调了令牌距离最小化的扰动作为一种有效的对抗方法,绕过受监督和无监督的质量措施。遵循这种方法,在评估语义相似性时,我们观察到文本分类质量的显着降低。
translated by 谷歌翻译